Khi Kano bắt đầu xin đi võ, ông gặp rất nhiều khó khăn vì đi đến đâu cũng đều bị các võ sư từ chối do cho rằng ông quá yếu ớt, không có khả năng học võ. Mãi đến năm Kano 17 tuổi (1877) khi ông đang là sinh viên ngành chính trị học và kinh tế học của Đại học Đế quốc Tokyo, nhờ một người bạn giới thiệu, ông mới được nhận vào lớp của thầy Katagiri Ryuji và chỉ được theo học có mấy bài biểu diễn. Kano không dễ dàng chấp nhận điều đó nên đã đến võ đường của Fukuda Hachinotsuke, một võ sư nổi tiếng cả về tài năng lẫn đạo đức trong môn Jujitsu thuộc chi phái Tenjin-shinio-ryu. Fukuda nhấn mạnh đến các bài quyền (kata) và song song đó, chương trình huấn luyện của ông còn bao gồm đấu vật tự do. Sau này kỹ thuật của Kano Jigoro nhấn mạnh đến randori (vật tự do) trong chương trình giảng dạy do chịu ảnh hưởng của Fukuda.

Nhờ chăm chỉ luyện tập, chẳng bao lâu, Kano trở thành một võ sĩ tài năng. Năm 1879, tức chỉ một năm sau ngày ông nhập môn tại võ đường của thầy Fukuda, thầy đột nhiên trở bệnh và mất. Ở tuổi 19, Kano chuyển sang học võ với thầy Iso Masatomo (62 tuổi) cũng thuộc trường phái Tenjin-shinio-ryu tại võ đường ở khu Kanda của Tokyo, đây là một võ đường nổi tiếng với những bài quyền do Iso sáng tạo hoặc nhuận sắc từ những bài cổ xưa.

Hơn hai năm Kano rèn luyện trong nỗ lực tột cùng, "ăn, uống và ngủ cùng Jujutsu". Điều tệ hại là ông bắt đầu có những cơn ác mộng, trong giấc ngủ ông thường la hét các ngôn từ mà lúc tập luyện Jujutsu ông sử dụng, và thường đá tung chăn mền. Tuy nhiên thầy Iso đã nhận thấy những cống hiến của người học trò trẻ tuổi và quyết định bổ nhiệm Kano làm trợ giảng.

Ở tuổi 21, Kano Jigoro bắt đầu trở thành võ sư dạy Jujutsu phái Tenji-shinio-ryu. Nhưng cũng đột ngột giống như Fukuda trước kia, Iso Masatomo đã lại mất vì bạo bệnh. Kano lại quyết định ra đi vì ông muốn nghiên cứu sâu sắc hơn về võ thuật, chứ không chỉ là một người thầy dạy võ đơn thuần. Sau đó, Kano lại có cơ duyên gặp thầy Tsunetoshi Iikubo, bậc thầy của trường phái Kito-ryu, và bắt đầu chương trình tập luyện mới theo hệ phái này. Kano Jigoro tập luyện rất nỗ lực, thậm chí không có ai ông cũng tập một mình. Kỹ pháp và chương trình của Tsunetoshi cũng như Fukuda Hachinotsuke, nhấn mạnh kỹ thuật vật tự do và đặc biệt sở trường về các nagewaza (các kỹ thuật quăng, ném), đây cũng là những kỹ pháp mà Kano sau này chịu ảnh hưởng lớn.

Trong thời gian này, Kano Jigoro từng bị thua võ sĩ nhà nghề Fukushima Kenkichi nặng tới 90 kg, tức là hơn ông đến 50 kg. Về sau, muốn đánh bại Fukushima để thỏa mãn cảm giác chiến thắng, Kano lao vào nghiên cứu mọi kỹ thuật, kể cả các quyển sách về kỹ thuật Sumo, tham khảo nhiều tài liệu, luyện tập không biết mệt mỏi, phát triển thêm nhiều đòn thế quăng, vật mới và tập trung vào các phương pháp cải thiện jujutsu. Cuối cùng, bằng một loạt những kỹ thuật mới do Kano sáng tạo, ông đã dễ dàng nhấc bổng Fukushima lên vai, xoay tròn và ném anh ta lên sàn đấu. Kỹ thuật này được Kano đặt tên là kata guruma, hay còn gọi là xoay vai. Thêm vào đó, hàng loạt các nguyên lý khác cũng được Kano sáng tạo trong thời gian này, như uki goshi (hông di động), tsuri komi goshi (nhấc, kéo hông).